Từ nhỏ, ông đã chịu ảnh hưởng từ người thầy của mình là Tôn Quang Phiệt, cũng như người chú ruột Lê Lộc[1]. Vì vậy, tháng 1 năm 1945, ông cùng các anh chị em của mình tham gia Việt Minh tại Hà Tĩnh.

Sau ngày tổng khởi nghĩa, Việt Minh nắm chính quyền, ông được tổ chức đưa vào hoạt động ở Sài Gòn trong ngành công an. Ban đầu, ông được cử làm Trưởng Công an Tân Bình (nay là quận Tân Bình, TP.HCM), sau đó chuyển về giữ chức Giám đốc Quốc gia tự vệ cuộc tỉnh Cần Thơ.